package com.fy.fyai.common.config;

import org.springframework.ai.transformer.splitter.TokenTextSplitter;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

/**
 * @author fwq
 * @description 文本分割参数配置
 * @date 2025-10-14 09:58
 */
@Configuration
public class TokenTextSplitterConfig {

    /**
     * 文本分割参数配置
     * @return
     */
    @Bean
    public TokenTextSplitter tokenTextSplitter() {
        // 参数依次为：块大小、重叠大小、最小字符数、最大块数、是否保留分隔符
        return new TokenTextSplitter(140, 30, 50, 10, false);
    }
}
